Cohen-Tannoudji sinh ở thành phố Constantine, thuộc tỉnh Constantine, Algérie trong thời Pháp đô hộ Algérie. Cha mẹ ông là người Do Thái. Sau khi tốt nghiệp "Đại học Constantine" (Algérie), Cohen-Tannoudji sang Paris học ở École normale supérieure, học các giáo sư Henri Cartan, Laurent Schwartz và Alfred Kastler. Việc học của ông bị gián đoạn vì phải thi hành nghĩa vụ quân sự 28 tháng (lâu hơn bình thường vì có chiến tranh Algérie). Năm 1960 ông bắt đầu nghiên cứu luận án tiến sĩ và đậu bằng tiến sĩ năm 1962.

Sau đó, ông dạy Cơ học lượng tử ở Đại học Paris, và tiếp tục nghiên cứu về các tác động qua lại giữa nguyên tử-photon. Từ năm 1960 tới 1964, ông được biệt phái sang nghiên cứu ở Trung tâm Nghiên cứu Khoa học Quốc gia Pháp. Từ năm 1964 tới 1973, ông làm phó giáo sư, rồi giáo sư ở Đại học Paris, rồi Đại học Paris-VI.

Năm 1973, ông làm giáo sư ở Collège de France. Đầu thập niên 1980, ông bắt đầu nghiên cứu các lực bức xạ trên nguyên tử trong trường ánh sáng laser. Ông cùng với Alain Aspect, Christophe Salomon và Jean Dalibard lập ra một phòng thí nghiệm để nghiên cứu laser cooling (xem chú thích).

Năm 1997, ông được trao Giải Nobel Vật lý (chung với Steven Chu và William Daniel Phillips) cho việc phát triển các phương pháp làm nguội và bẫy nguyên tử bằng ánh sáng laser.